<!DOCTYPE HTML>
<html lang="zh-CN">


<head>
    <meta charset="utf-8">
    <meta name="keywords" content="超越数据集学习：用于自然语言处理的知识图增强神经网络, SongX64">
    <meta name="description" content="">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no">
    <meta name="renderer" content="webkit|ie-stand|ie-comp">
    <meta name="mobile-web-app-capable" content="yes">
    <meta name="format-detection" content="telephone=no">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="baidu-site-verification" content="code-8GV6uhDsco" />
    <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
    <!-- Global site tag (gtag.js) - Google Analytics -->


    <title>超越数据集学习：用于自然语言处理的知识图增强神经网络 | SongX64</title>
    <link rel="icon" type="image/png" href="/favicon.png">

    <link rel="stylesheet" type="text/css" href="/libs/awesome/css/all.css">
    <link rel="stylesheet" type="text/css" href="/libs/materialize/materialize.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/aos/aos.css">
    <link rel="stylesheet" type="text/css" href="/libs/animate/animate.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/lightGallery/css/lightgallery.min.css">
    <link rel="stylesheet" type="text/css" href="/css/matery.css">
    <link rel="stylesheet" type="text/css" href="/css/my.css">

    <script src="/libs/jquery/jquery.min.js"></script>

<meta name="generator" content="Hexo 5.4.0"><link rel="alternate" href="/atom.xml" title="SongX64" type="application/atom+xml">
</head>



   <style>
    body{
       background-image: url(https://gitee.com/songx86/SongPicBed/raw/master/img/fd039245d688d43f5595595b7d1ed21b0ef43b5f.jpg);
       background-repeat:no-repeat;
       background-size:cover;
       background-attachment:fixed;
    }
</style>



<body>
    <header class="navbar-fixed">
    <nav id="headNav" class="bg-color nav-transparent">
        <div id="navContainer" class="nav-wrapper container">
            <div class="brand-logo">
                <a href="/" class="waves-effect waves-light">
                    
                    <img src="/medias/logo.png" class="logo-img" alt="LOGO">
                    
                    <span class="logo-span">SongX64</span>
                </a>
            </div>
            

<a href="#" data-target="mobile-nav" class="sidenav-trigger button-collapse"><i class="fas fa-bars"></i></a>
<ul class="right nav-menu">
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/" class="waves-effect waves-light">
      
      <i class="fas fa-home" style="zoom: 0.6;"></i>
      
      <span>首页</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/tags" class="waves-effect waves-light">
      
      <i class="fas fa-tags" style="zoom: 0.6;"></i>
      
      <span>标签</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/categories" class="waves-effect waves-light">
      
      <i class="fas fa-bookmark" style="zoom: 0.6;"></i>
      
      <span>分类</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/archives" class="waves-effect waves-light">
      
      <i class="fas fa-archive" style="zoom: 0.6;"></i>
      
      <span>归档</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/about" class="waves-effect waves-light">
      
      <i class="fas fa-user-circle" style="zoom: 0.6;"></i>
      
      <span>关于</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/contact" class="waves-effect waves-light">
      
      <i class="fas fa-comments" style="zoom: 0.6;"></i>
      
      <span>留言板</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/friends" class="waves-effect waves-light">
      
      <i class="fas fa-address-book" style="zoom: 0.6;"></i>
      
      <span>友情链接</span>
    </a>
    
  </li>
  
  <li>
    <a href="#searchModal" class="modal-trigger waves-effect waves-light">
      <i id="searchIcon" class="fas fa-search" title="搜索" style="zoom: 0.85;"></i>
    </a>
  </li>
</ul>


<div id="mobile-nav" class="side-nav sidenav">

    <div class="mobile-head bg-color">
        
        <img src="/medias/logo.png" class="logo-img circle responsive-img">
        
        <div class="logo-name">SongX64</div>
        <div class="logo-desc">
            
            Never really desperate, only the lost of the soul.
            
        </div>
    </div>

    

    <ul class="menu-list mobile-menu-list">
        
        <li class="m-nav-item">
	  
		<a href="/" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-home"></i>
			
			首页
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/tags" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-tags"></i>
			
			标签
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/categories" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-bookmark"></i>
			
			分类
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/archives" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-archive"></i>
			
			归档
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/about" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-user-circle"></i>
			
			关于
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/contact" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-comments"></i>
			
			留言板
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/friends" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-address-book"></i>
			
			友情链接
		</a>
          
        </li>
        
        
        <li><div class="divider"></div></li>
        <li>
            <a href="https://github.com/blinkfox/hexo-theme-matery" class="waves-effect waves-light" target="_blank">
                <i class="fab fa-github-square fa-fw"></i>Fork Me
            </a>
        </li>
        
    </ul>
</div>


        </div>

        
            <style>
    .nav-transparent .github-corner {
        display: none !important;
    }

    .github-corner {
        position: absolute;
        z-index: 10;
        top: 0;
        right: 0;
        border: 0;
        transform: scale(1.1);
    }

    .github-corner svg {
        color: #0f9d58;
        fill: #fff;
        height: 64px;
        width: 64px;
    }

    .github-corner:hover .octo-arm {
        animation: a 0.56s ease-in-out;
    }

    .github-corner .octo-arm {
        animation: none;
    }

    @keyframes a {
        0%,
        to {
            transform: rotate(0);
        }
        20%,
        60% {
            transform: rotate(-25deg);
        }
        40%,
        80% {
            transform: rotate(10deg);
        }
    }
</style>

<a href="https://github.com/blinkfox/hexo-theme-matery" class="github-corner tooltipped hide-on-med-and-down" target="_blank"
   data-tooltip="Fork Me" data-position="left" data-delay="50">
    <svg viewBox="0 0 250 250" aria-hidden="true">
        <path d="M0,0 L115,115 L130,115 L142,142 L250,250 L250,0 Z"></path>
        <path d="M128.3,109.0 C113.8,99.7 119.0,89.6 119.0,89.6 C122.0,82.7 120.5,78.6 120.5,78.6 C119.2,72.0 123.4,76.3 123.4,76.3 C127.3,80.9 125.5,87.3 125.5,87.3 C122.9,97.6 130.6,101.9 134.4,103.2"
              fill="currentColor" style="transform-origin: 130px 106px;" class="octo-arm"></path>
        <path d="M115.0,115.0 C114.9,115.1 118.7,116.5 119.8,115.4 L133.7,101.6 C136.9,99.2 139.9,98.4 142.2,98.6 C133.8,88.0 127.5,74.4 143.8,58.0 C148.5,53.4 154.0,51.2 159.7,51.0 C160.3,49.4 163.2,43.6 171.4,40.1 C171.4,40.1 176.1,42.5 178.8,56.2 C183.1,58.6 187.2,61.8 190.9,65.4 C194.5,69.0 197.7,73.2 200.1,77.6 C213.8,80.2 216.3,84.9 216.3,84.9 C212.7,93.1 206.9,96.0 205.4,96.6 C205.1,102.4 203.0,107.8 198.3,112.5 C181.9,128.9 168.3,122.5 157.7,114.1 C157.9,116.9 156.7,120.9 152.7,124.9 L141.0,136.5 C139.8,137.7 141.6,141.9 141.8,141.8 Z"
              fill="currentColor" class="octo-body"></path>
    </svg>
</a>
        
    </nav>

</header>

    



<div class="bg-cover pd-header post-cover" style="background-image: url('/medias/featureimages/101.jpg')">
    <div class="container" style="right: 0px;left: 0px;">
        <div class="row">
            <div class="col s12 m12 l12">
                <div class="brand">
                    <h1 class="description center-align post-title">超越数据集学习：用于自然语言处理的知识图增强神经网络</h1>
                </div>
            </div>
        </div>
    </div>
</div>




<main class="post-container content">

    
    <link rel="stylesheet" href="/libs/tocbot/tocbot.css">
<style>
    #articleContent h1::before,
    #articleContent h2::before,
    #articleContent h3::before,
    #articleContent h4::before,
    #articleContent h5::before,
    #articleContent h6::before {
        display: block;
        content: " ";
        height: 100px;
        margin-top: -100px;
        visibility: hidden;
    }

    #articleContent :focus {
        outline: none;
    }

    .toc-fixed {
        position: fixed;
        top: 64px;
    }

    .toc-widget {
        width: 345px;
        padding-left: 20px;
    }

    .toc-widget .toc-title {
        padding: 35px 0 15px 17px;
        font-size: 1.5rem;
        font-weight: bold;
        line-height: 1.5rem;
    }

    .toc-widget ol {
        padding: 0;
        list-style: none;
    }

    #toc-content {
        padding-bottom: 30px;
        overflow: auto;
    }

    #toc-content ol {
        padding-left: 10px;
    }

    #toc-content ol li {
        padding-left: 10px;
    }

    #toc-content .toc-link:hover {
        color: #42b983;
        font-weight: 700;
        text-decoration: underline;
    }

    #toc-content .toc-link::before {
        background-color: transparent;
        max-height: 25px;

        position: absolute;
        right: 23.5vw;
        display: block;
    }

    #toc-content .is-active-link {
        color: #42b983;
    }

    #floating-toc-btn {
        position: fixed;
        right: 15px;
        bottom: 76px;
        padding-top: 15px;
        margin-bottom: 0;
        z-index: 998;
    }

    #floating-toc-btn .btn-floating {
        width: 48px;
        height: 48px;
    }

    #floating-toc-btn .btn-floating i {
        line-height: 48px;
        font-size: 1.4rem;
    }
</style>
<div class="row">
    <div id="main-content" class="col s12 m12 l9">
        <!-- 文章内容详情 -->
<div id="artDetail">
    <div class="card">
        <div class="card-content article-info">
            <div class="row tag-cate">
                <div class="col s7">
                    
                    <div class="article-tag">
                        
                            <a href="/tags/%E7%A7%91%E7%A0%94/">
                                <span class="chip bg-color">科研</span>
                            </a>
                        
                            <a href="/tags/Knowledge-Graph/">
                                <span class="chip bg-color">Knowledge Graph</span>
                            </a>
                        
                            <a href="/tags/%E8%AE%BA%E6%96%87%E7%BF%BB%E8%AF%91/">
                                <span class="chip bg-color">论文翻译</span>
                            </a>
                        
                    </div>
                    
                </div>
                <div class="col s5 right-align">
                    
                    <div class="post-cate">
                        <i class="fas fa-bookmark fa-fw icon-category"></i>
                        
                            <a href="/categories/%E7%A7%91%E7%A0%94/" class="post-category">
                                科研
                            </a>
                        
                    </div>
                    
                </div>
            </div>

            <div class="post-info">
                
                <div class="post-date info-break-policy">
                    <i class="far fa-calendar-minus fa-fw"></i>发布日期:&nbsp;&nbsp;
                    2021-03-09
                </div>
                

                

                
                <div class="info-break-policy">
                    <i class="far fa-file-word fa-fw"></i>文章字数:&nbsp;&nbsp;
                    7k
                </div>
                

                
                <div class="info-break-policy">
                    <i class="far fa-clock fa-fw"></i>阅读时长:&nbsp;&nbsp;
                    24 分
                </div>
                

                
            </div>
        </div>
        <hr class="clearfix">

        
        <!-- 是否加载使用自带的 prismjs. -->
        <link rel="stylesheet" href="/libs/prism/prism.css">
        

        

        <div class="card-content article-card-content">
            <div id="articleContent">
                <h1 id="超越数据集学习：用于自然语言处理的知识图增强神经网络"><a href="#超越数据集学习：用于自然语言处理的知识图增强神经网络" class="headerlink" title="超越数据集学习：用于自然语言处理的知识图增强神经网络"></a>超越数据集学习：用于自然语言处理的知识图增强神经网络</h1><p>会议：NAACL 2018<br>            North American Chapter of the ACL，ACL北美分部<br>            Annual Meeting of the Association for Computational Linguistics，计算机语言学协会年会</p>
<p>10页</p>
<h2 id="0-摘要"><a href="#0-摘要" class="headerlink" title="0. 摘要"></a>0. 摘要</h2><h3 id="问题"><a href="#问题" class="headerlink" title="问题"></a>问题</h3><p>机器学习一直是许多AI问题的典型解决方案，但是学习模型在很大程度上取决于特定的训练数据。<br>某些学习模型可以使用贝叶斯设置与先验知识结合在一起，但是这些学习模型无法按需访问任何有组织的世界知识。<br>在这项工作中，我们提出了通过知识图谱KG事实三元组中的世界知识来提高自然语言处理任务NLP的学习模型。</p>
<h3 id="目标-工作"><a href="#目标-工作" class="headerlink" title="目标/工作"></a>目标/工作</h3><p>我们的==目标==是开发一种深度学习模型，该模型可以使用<strong>注意力机制</strong>根据任务<strong>从知识图中提取相关的先验支持事实</strong>。<br>为了减少注意力空间，我们引入了<strong>基于卷积的模型</strong>来<strong>学习知识图实体和关系簇</strong>的表示。</p>
<h3 id="优点"><a href="#优点" class="headerlink" title="优点"></a>优点</h3><p>我们表明，<strong>所提出的方法对于必须处理的先验信息量具有高度的可扩展性</strong>，并且可以应用于<strong>任何通用的NLP任务</strong>。<br>使用此方法，我们展示了使用<strong>20Newsgroups（News20）和DBPedia数据集</strong>进行<strong>文本分类</strong>以及使用<strong>Stanford Natural Language Inference（SNLI）数据集</strong>进行<strong>自然语言推理</strong>的性能显着提高。</p>
<p>我们还证明，当深度学习模型可以以知识库的形式访问有组织的世界知识时，可以使用数量更少的带标签的训练数据来训练它。</p>
<h2 id="1-简介"><a href="#1-简介" class="headerlink" title="1.简介"></a>1.简介</h2><p>如今，机器学习围绕算法进行，这些算法可以在可用的特定于任务的标记和未标记训练样本上进行训练。</p>
<p>尽管像“转移学习”这样的学习范例（Pan和Yang，2010）试图将知识从一项任务整合到另一项任务中，但是这些技术在可扩展性方面受到限制，并且特定于手头的任务。</p>
<p>另一方面，人类具有内在的能力，可以按需从世界上吸取过去所需的知识，并将其注入新近学习的概念中以解决问题。</p>
<h3 id="问题描述"><a href="#问题描述" class="headerlink" title="问题描述"></a>问题描述</h3><p>我们在本文中要解决的问题是：<strong>是否可以开发一种可以通过以下方式进行训练的学习模型：除了基于训练数据的学习之外，还可以注入世界知识的整体进行预测？</strong></p>
<blockquote>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225090627294.png" alt="图1基本思想"></p>
<p>图1：基本思想：X是要素输入，Y是预测。在做出最终预测之前，将检索任务$X_w$的相关世界知识并通过特征输入进行扩充</p>
</blockquote>
<h3 id="世界知识-知识图谱"><a href="#世界知识-知识图谱" class="headerlink" title="世界知识/知识图谱"></a>世界知识/知识图谱</h3><p>所谓世界知识，是指不需要特定领域的<strong>结构化通用知识</strong>。</p>
<p>知识图谱（Nickel等，2016a）是这种结构化世界知识的流行来源。</p>
<p>知识图以事实三联体的形式表示信息，由主体实体，关系和对象实体组成（例如：&lt;意大利，首都，罗马&gt;）。实体表示图的节点，它们的关系充当边。事实三元组（对象实体，关系，对象关系）表示为==（h，r，t）==</p>
<p>实用知识库使用各种统计学习机制从二级数据库中收集信息或从非结构化文本中提取事实，此类系统的示例包括NELL（Mitchell等，2015）和DeepDive（Niu等，2012）。也有人类创建的知识库，例如Freebase（FB15k）（Bollacker等，2008）和WordNet（Miller等，1990）。这些知识库中的知识包括常识，部分涵盖常识知识和领域知识（Song和Roth，2017年）。</p>
<p>**知识图(Knowledge Graph)和知识库(Knowledge Base)**在概念上等效于我们的目的，在本文中我们将互换使用该名称。</p>
<h4 id="例子：世界知识的重要性"><a href="#例子：世界知识的重要性" class="headerlink" title="例子：世界知识的重要性"></a>例子：世界知识的重要性</h4><p>我们通过一些例子来说明<strong>世界知识的重要性</strong>。以自然语言推理（NLI）问题为例（MacCartney，2009年），请考虑以下两个陈述：</p>
<ul>
<li>A: The couple is walking on the sea shore<br>A：夫妻在海边散步</li>
<li>B: The man and woman are wide awake.<br>B：男人和女人清醒。</li>
</ul>
<p>在这里，对于从A推断B的学习模型，它应该可以<u>访问<code>“The man and woman”</code> 和 <code>“The couple”</code> 意味着相同的常识</u>，因为该信息可能并不特定于特定的推断。<br>此外，模型不可能仅从可用于任务的标记训练数据中学习所有此类相关性。</p>
<p>考虑对新闻片段进行分类的另一个例子:</p>
<ul>
<li>Donald Trump offered his condolences towards the hurricane victims and their families in Texas.<br>唐纳德·特朗普对德克萨斯州的飓风受害者及其家属表示慰问。</li>
</ul>
<p>除非我们知道<code>&lt;Donald Trump,president, United States&gt;</code> 和<code>&lt;Texas, state,United States&gt;</code>的事实，否则我们不能将其归类为政治新闻。</p>
<p>我们认为，<strong>机器学习模型除了可以用基础知识对数据进行训练外，还可以通过训练从结构化知识库中获取相关信息来增强其性能。</strong>（也就是文本+知识图谱？）</p>
<h3 id="模型-任务"><a href="#模型-任务" class="headerlink" title="模型/任务"></a>模型/任务</h3><p>在这项工作中，我们提出了一种深度学习模型，该模型可以根据需要从知识库中提取相关的支持事实（Mitchell等人，2015），并将其与从训练数据中学到的特征一起纳入特征空间（如图1所示）。</p>
<blockquote>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225090627294.png" alt="图1基本思想"></p>
<p>图1：基本思想：X是要素输入，Y是预测。在做出最终预测之前，将检索任务$X_w$的相关世界知识并通过特征输入进行扩充</p>
</blockquote>
<p>这是一项具有挑战性的任务，因为知识库通常具有数百万个事实三元组。我们提出的模型涉及一种深度学习机制，以结合该<strong>查找方案</strong>以及<strong>模型的任务特定训练</strong>。</p>
<p>查找机制和模型足够通用，因此可以扩展为任何任务特定的学习模型，以提高学习性能。</p>
<p>在本文中，我们在文本分类和自然语言推理方面建立了拟议的KG增强模型优于vanilla model香草模型的性能。</p>
<p>尽管在自然语言文本方面有大量关于知识图表示的工作（Nickel等人，2016a）（Mitchell等人，2015）（Niu等人，2012），但<strong>没有尝试用知识图信息来扩充学习模型</strong>已经完成了。就我们所知，这是首次尝试将来自知识库的世界知识纳入学习模型。</p>
<h2 id="2-知识图谱表示"><a href="#2-知识图谱表示" class="headerlink" title="2.知识图谱表示"></a>2.知识图谱表示</h2><p>知识图实体/关系需要编码为数字表示形式以进行处理。在描述模型之前，我们将简要介绍图形编码技术。各种KG嵌入技术可以大致分为以下几类：基于结构的嵌入和语义丰富的嵌入。</p>
<ul>
<li>基于结构的嵌入<ul>
<li>TransE（Bordes等，2013）是知识图表示的入门工作，它使用一维关系向量（h + r = t）将主体实体转换为主体实体。 </li>
<li>TransE模型的变体（Bordes等，2013）使用实体向量在关系特定子空间上的转换。 </li>
<li>TransH（Wang et al。，2014b）引入了特定于关系的超平面来翻译实体。</li>
<li>仅使用图结构的类似工作包括<ul>
<li>ManifoldE（Xiao等人，2015b）</li>
<li>TransG（Xiao等人，2015a）</li>
<li>TransD（Ji等人，2015）</li>
<li>TransM（Fan等人，2014）</li>
<li>HolE（Nickel et al。，2016b）</li>
<li>ProjE（Shi and Weninger，2017）</li>
</ul>
</li>
</ul>
</li>
<li>语义丰富的嵌入，这些嵌入技术可学习表示KG的实体/关系及其语义信息。<ul>
<li>神经张量网络（NTN）（Socher et al。，2013）是该领域的开创性工作，它使用平均单词嵌入和随后的基于张量的操作来初始化实体向量。</li>
<li>涉及这一想法的最新作品是“联合对齐”（Zhong等，2015）和SSP（Xiao等，2017）。 </li>
<li>DKRL（Xie et al。，2016）是一种KG表示技术，该技术还考虑了文本的描述性，保持了TransE模型的简单结构。</li>
<li>预训练的word2vec（Mikolov等人，2013）用于通过约束关系保持的卷积神经网络（CNN）（Kim，2014）来形成实体表示。</li>
</ul>
</li>
</ul>
<p><strong>在我们的实验中，我们使用了==DKRL==（Xie等人，2016）编码方案，因为它着重于文本的语义描述。</strong>此外，DKRL从根本上使用TransE（Bordes等，2013）方法对结构信息进行编码。因此，我们可以使用t = h + r检索相关的实体和关系并获得完整的事实。这减少了事实检索的复杂性，因为实体/关系的数量比事实的数量少得多，从而使检索过程更快。</p>
<h2 id="3-提出模型"><a href="#3-提出模型" class="headerlink" title="3.提出模型"></a>3.提出模型</h2><p>在<strong>给定训练数据x和标签y</strong>的情况下，具有<strong>参数Θ</strong>的<strong>常规监督学习模型</strong>试图最大化以下函数：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225111412868.png" alt="常规模型最大化函数"></p>
<p>其中优化参数$\Theta$如下给出:</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225111333801.png" alt="theta公式"></p>
<blockquote>
<p>当我们有另一个函数y=f(x)时，若有结果x0= argmax(f(x))，则表示当函数f(x)取x=x0的时候，得到f(x)取值范围的最大值；若有多个点使得f(x)取得相同的最大值，那么argmax(f(x))的结果就是一个点集。</p>
<p><strong>argmax(f(x))是使得 f(x)取得最大值所对应的变量点x(或x的集合)</strong></p>
</blockquote>
<p>在这项工作中，我们建议通过==纳入世界知识特征$x_w$来扩大监督学习过程==。使用单独的模型使用<strong>数据x​</strong>检索世界知识特征，其中$x_w = F(x,\Theta^{(2)})$。因此，我们<strong>修改后的目标函</strong>数可以表示为：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225111538706.png" alt="修改后的目标函数"></p>
<p>其中$ Θ= {Θ^{(1)}，Θ^{(2)}} $。可以使用以下公式获得优化的参数：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201225111825990.png" alt="优化参数Theta"></p>
<p>随后的部分<strong>集中于函数F的公式化，该函数负责使用数据样本x进行事实三重检索。</strong></p>
<p>这里需要注意的重要一点是，我们没有假设基于F的P的任何结构形式。因此，该方法是通用的，<strong>适用于以任何形式的P来扩充任何监督学习设置，只有约束P应该使得误差可以针对F计算梯度</strong>。</p>
<p>在实验中，我们使用softmax，并使用LSTM（Greff等人，2015）编码的输入作为==P的形式==。==至于F==，我们使用了<strong>soft attention软注意力</strong>（Luong等。 ，2015； Bahdanau等人，2014）使用输入的LSTM编码和事实的适当表示。</p>
<p>基于事实的表示，我们提出了<strong>两个模型（a）Vanilla Model范尼拉模型（b）Convolution-based entity/relation cluster representation基于卷积的实体/关系聚类表示</strong>，用于后续部分中的<strong>事实检索</strong>。</p>
<h3 id="3-1-Vanilla-Model-香草模型"><a href="#3-1-Vanilla-Model-香草模型" class="headerlink" title="3.1 Vanilla Model 香草模型"></a>3.1 Vanilla Model 香草模型</h3><p>==KG的实体和关系使用DKRL编码==，如前所述。</p>
<ul>
<li>令$e_i∈R^m$代表实体 $i$ 的编码，</li>
<li>而$r_j∈R^m$代表KG中的第 $j$ 个关系。</li>
<li>串联词向量$ x =(x_1，x_2，…，x_T)$形式的输入文本首先使用LSTM（Greff等，2015）模块进行编码，如下所示：</li>
</ul>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226091915953.png" alt="ht=f(xt,ht-1)"></p>
<p>以及：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226092008497.png" alt="o的公式"></p>
<ul>
<li><p>$h_t∈R^n$在t时刻的LSTM的隐藏状态，</p>
</li>
<li><p>f是非线性函数</p>
</li>
<li><p>T是序列长度。</p>
</li>
</ul>
<p>然后从o形成上下文向量，如下所示：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226153203355.png" alt="image-20201226153203355"></p>
<p>其中，$W∈R^{n×m}$表示权重参数。</p>
<p>用分别的LSTM复制相同的过程，以形成两个单独的上下文向量，==一个用于实体检索（CE），一个用于关系检索（CR）==。</p>
<p>由于在KG模型中KG中的事实三元组数量约为数百万个，因此我们使用<strong>分别通过实体和关系空间生成注意力的手段</strong>，然后使用检索到的实体和关系来形成事实。==对于实体的注意力，$e_i$通过以下方式给出实体上下文向量==：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226154946687.png" alt="image-20201226154946687"></p>
<p>| E |是KG中的实体数。</p>
<p>类似地，对==关系向量$r_i$的注意力==计算为</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226155110618.png" alt="image-20201226155110618"></p>
<p>| R |是KG中的关系数。</p>
<p>==最终的实体和关系向量检索==是通过加权总和与各个检索到的实体/关系向量的关注值来计算的。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226155222219.png" alt="image-20201226155222219"></p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226172918309.png" alt="图2：Vanilla实体/关系检索框图"></p>
<p>图2显示了实体/关系检索的示意图。</p>
<p>在计算了最终的实体和关系向量之后，我们期待事实三元组的完成。</p>
<p>实验中使用的KG嵌入技术是DKRL，它固有地使用TransE模型假设（h + r≈t）。</p>
<p>因此，使用主题实体和关系我们将对象实体形成为t = e + r。</p>
<p>因此，检索到的==三元组事实为F = [e，r，e + r]==，其中$F∈R^{3m}$。</p>
<p>==使用LSTM模块将获取的事实信息与输入x的上下文向量（C）串联在一起==。</p>
<p>最终==分类标签y的计算==如下：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201226172830593.png" alt="image-20201226172830593"></p>
<p>​    </p>
<h3 id="3-2训练前-预训练的KG检索"><a href="#3-2训练前-预训练的KG检索" class="headerlink" title="3.2训练前/预训练的KG检索"></a>3.2训练前/预训练的KG检索</h3><p>香草模型涉及整个实体/关系空间，这不是一个好方法，因为我们观察到==每个注意力值的梯度很容易饱和==。</p>
<p>在一起训练分类和检索模块时，模型倾向于忽略KG部分，并且梯度仅通过分类模块传播。可以预见到这一点，因为手头任务的最相关信息来自训练样本，而背景帮助信息仅来自KG。经过几次训练后，KG检索到的事实始终收敛到固定向量。</p>
<p>为了克服这个问题，我们尝试了分别单独进行KG检索的预训练。</p>
<p>==预先训练的KG模型用于检索事实==，然后与分类模块连接，同时我们允许在联合训练时通过预先训练的模型传播错误。</p>
<p>我们推断，KG不返回噪音，并且具有完成任务所需的必要信息，因为单独的KG部分显示出显着的性能（News20为59％，SNLI为66％）。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201227173200105.png" alt="图3：分别训练知识图检索和共同训练完整模型"></p>
<p>图3描绘了整个培训方案。该程序==解决了在联合训练时KG检索部分中的梯度饱和问题==。</p>
<p>然而，==注意力机制的关键问题仍然必须涵盖大范围的实体/关系==。</p>
<h3 id="3-3基于卷积的实体和关系簇表示"><a href="#3-3基于卷积的实体和关系簇表示" class="headerlink" title="3.3基于卷积的实体和关系簇表示"></a>3.3基于卷积的实体和关系簇表示</h3><p>在本节中，我们提出一种机制来==减少必须在知识图中生成注意力的大量实体/关系==。</p>
<p>我们建议通过学习相似实体/关系向量的表示并关注它们来减少注意力空间。</p>
<p>为了聚类相似的实体/关系向量，我们使用了<strong>k-均值聚类</strong>（Bishop，2006），并在每个聚类中形成了具有相同数量的实体/关系向量的l个聚类。</p>
<p>然后使用<strong>卷积滤波器</strong>对每个聚类进行编码。</p>
<p>k均值聚类的输出是一系列实体/关系向量${e^T_1，e^T_2，···，e^T_q}$，其中$e_i∈R^m$。对于每个群集，将这些向量堆叠起来以形成$\epsilon$，作为CNN编码器的2D输入，其中$\epsilon∈R^{m×q}$。</p>
<p>在寻找合适的滤波器形状的实验过程中，观察到使用2D滤波器，模型根本无法收敛。</p>
<p>因此，我们推断向量ei中两个不同索引的潜在表示不应使用卷积进行篡改。</p>
<p>然后我们求助于使用一维卷积滤波器，该滤波器仅沿E的列滑动，如图4所示。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201227174153439.png" alt="图4：卷积模型集群表示"></p>
<p>沿y轴的步幅长度是窗口长度k。卷积层的输出表示为：</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201227174215986.png" alt="image-20201227174215986"></p>
<p>其中$\epsilon’(i，j)$是输出矩阵$\epsilon’$的$(i,j)^{th}$元素，$W∈R^k$是卷积权重滤波器。</p>
<p>为了减少参数空间，在卷积层之后有一个池化层，类似于上面提到的卷积核，我们仅沿y轴使用了一维窗口。</p>
<p>我们使用步长为k的两层卷积网络，并调整了最大池窗口n以获得输出Ei∈Rm，其中i是聚类索引。</p>
<p>对于关系，也完成了相似的聚类过程，然后进行了聚类实体的编码。</p>
<p>因此，实体和关系空间都减少为包含更少的元素，每个集群一个。</p>
<p>在形成紧凑的实体空间E和关系空间R之后，我们遵循与先前相同的步骤来形成注意力，但是现在，由于梯度有效地传播并且不受较大空间的阻碍，因此训练更加有效。</p>
<p>由于卷积体系结构也同时受到训练，因此注意力机制不再像以前那样繁重，可以在实体和关系的广阔空间中进行学习。</p>
<p>这里需要提到的另一点是关于集群中项目的排序/排序，我们已经做过实验以验证排序不会影响最终结果。</p>
<p>我们已经通过随机改组每个集群中的实体/关系来验证了这一点，并且ac317 curacy输出保持在±0.5％的误差范围内。</p>
<p>在各种排列中，卷积运算符为聚类学习的表示形式有所不同，但不会影响整体结果。</p>
<p>关于对卷积算子学习什么的解释，沿着实体/关系向量的每个维度应用算子，以学习聚类的表示。</p>
<p>此表示包括来自集群中相关实体的信息，因为相关实体随任务而变化，因此使用卷积学习的表示也将进行相应调整。</p>
<p>这类似于从图像中学习相关特征，在我们的案例中，卷积层学习的特征集中在与任务有关的群集中的相关实体/关系上。</p>
<h2 id="4-实验与评估"><a href="#4-实验与评估" class="headerlink" title="4.实验与评估"></a>4.实验与评估</h2><p>我们的实验旨在==分析深度学习模型是否可以从相关来源访问KG事实时是否得到改进==。</p>
<p>知识图的选择必须与手头的任务相关，因为当前没有单个知识库包含多种信息并且可以满足所有任务。我们用结果说明了深度学习模型在访问相关事实时的性能会提高。</p>
<p>我们还说明，随着该模型可以通过访问知识库来更快地学习，我们可以使用更少的训练数据来训练深度学习模型，而不会影响准确性。</p>
<p>在接下来的部分中，我们将简要描述使用的数据集和相关的知识库。</p>
<h3 id="数据集和相关知识图"><a href="#数据集和相关知识图" class="headerlink" title="数据集和相关知识图"></a>数据集和相关知识图</h3><p>在我们的实验中，我们主要使用了流行的文本分类数据集==20Newsgroups==（Lichman，2013）和自然语言推断数据集，==斯坦福自然语言推断（SNLI）==语料库（Bowman等，2015）。</p>
<p>我们还对==[DBPedia本体分类数据集](<a target="_blank" rel="noopener" href="http://wiki.dbpedia.org/">http://wiki.dbpedia.org/</a> services-resources/dbpedia-data-set-2014)==进行了实验，并具有非常强的基准。</p>
<p>选择这些数据集是因为它们与两个最流行的知识库（==Freebase（FB15k）==（Bollacker等，2008）和==WordNet（WN18）==（Bordes等，2013））共享领域知识。</p>
<p>表1中提到了数据集的训练量和测试量。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201228095600230.png" alt="数据集划分"></p>
<p>==Freebase（FB15k）==（Bollacker et al。，2008）包含有关==人，地点和事物的事实==（包含14904个实体，1345个关系和490万个事实三元组），==可用于20Newsgroups的文本分类==（Lichman，2013年）数据集。</p>
<p>另一方面，==WordNet（WN18）==（Bordesetal，2013）（有40943个实体，18个关系和150万个事实三元组）包含==有关日常事物的事实==（例如：家具包括床），可以==帮助推断SNLI==之类的任务。</p>
<p>这两个知识库都是有向图，由于较少数量的关系WN18，因此实体更有可能使用相同类型的关系进行连接。</p>
<p>对于与这两个数据集20Newsgroups和SNLI相关的实验，我们使用==标准LSTM作为分类模块==。</p>
<p>如前所述，我们的基于KG的事实检索式独立于所使用的基本模型。我们通过KG事实检索使用建议的模型显示了性能的提高。我们使用测试集的==分类准确性作为评估指标==。</p>
<h3 id="4-1-实验装置"><a href="#4-1-实验装置" class="headerlink" title="4.1 实验装置"></a>4.1 实验装置</h3><p>所有实验都是在配备Quadro M5000 GPU和8 GB内存的Dell Precision Tower 7910服务器上进行的。</p>
<p>模型是使用Adam的Optimizer（Kingma和Ba，2014年）以==随机梯度下降==（Bottou，2012年）的方式进行训练的。这些模型是使用==TensorFlow==实现的（Abadi等，2015）。</p>
<p>表2列出了相关的超参数。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201228100134744.png" alt="表2：用于News20和SNLI数据集的实验中使用的超参数"></p>
<p>使用预训练的<a target="_blank" rel="noopener" href="http://nlp.stanford.edu/data/glove.840B.300d.zip">Glo Ve(Pennington et al。，2014)</a>向量获得了实验的词嵌入。对于在预训练向量中缺失的单词，使用在相应数据集上训练的局部Glo Ve向量。</p>
<h3 id="4-2-结果与讨论"><a href="#4-2-结果与讨论" class="headerlink" title="4.2 结果与讨论"></a>4.2 结果与讨论</h3><p>表3显示了News20 和SNLI数据集上提出的各种方法的测试准确性的结果。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201228101148626.png" alt="表3：使用WN18的FB15K和SNLI数据集测试News20中方法的准确性"></p>
<p>我们观察到，使用基本的香草模型合并KG事实，由于检索模型没有得到有效的训练，因此可以稍微改善性能。</p>
<p>基于卷积的模型显示出比常规LSTM分类有显着改进。</p>
<p>在调整群集实体/关系的卷积参数时，观察到较小的步幅长度和较长的最大池窗口可改善性能。</p>
<p>对于News20数据集，我们显示了将近3％的改善，对于SNLI，我们显示了近5％的改善。</p>
<p>这项工作更多地是从以下方面出发的：整合世界知识是否会改善任何深度学习模型，而不是超越最新水平的表现。</p>
<p>如前所述，尽管使用LSTM编码模型的输入以及检索向量，但这两个模块不必相同。</p>
<p>为了对输入进行编码，可以使用任何复杂的最新模型。 LSTM也已用于生成检索向量。</p>
<p>对于DBPedia本体分类数据集，我们使用了98.6％的强基线，在使用基于卷积模型的KG（Freebase）增强基线之后，我们看到了约0.2％的改进。</p>
<p>随着基线的增强，改进的范围减小了。这是非常直观的，因为复杂的模型本身无法自学数据，因此可用于进一步改进的空间相对较小。</p>
<p>在实验中观察到的改进在较弱的学习模型中是显着的，但是从DBPedia数据集的结果来看，它也能够改进更强的基准。</p>
<h3 id="4-3-训练深度学习模型时减少数据集尺寸的需求"><a href="#4-3-训练深度学习模型时减少数据集尺寸的需求" class="headerlink" title="4.3 训练深度学习模型时减少数据集尺寸的需求"></a>4.3 训练深度学习模型时减少数据集尺寸的需求</h3><p>我们==假设随着知识图将更多信息提供给模型，我们可以用更少的训练数据来获得更好的性能==。</p>
<p>为了验证这一点，我们对20Newsgroups数据集的不同数据集部分进行了实验，如图5所示。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201228101857282.png" alt="图5：针对News20的基线和KG增强模型的数据集分数的精度图"></p>
<p>从图中可以看出，KG增强的LSTM具有70％的数据优于具有完整数据集支持的基线模型，从而减少了对标记数据的依赖性30％。</p>
<p>我们还设计了一个实验，用于比较在完整训练数据上训练的基线模型的准确性，并将其与仅使用20Newsgroups和SNLI数据集的训练数据的70％训练的KG增强模型的准确性进行比较。</p>
<p>跨训练时期的准确性和训练损失图在图6中给出。</p>
<p><img src="https://gitee.com/songx86/SongPicBed/raw/master/img/image-20201228102337601.png" alt="图6"><br>图6：<br>（a）针对News20任务的LSTM（使用完整和70％数据集）和KG增强LSTM（使用70％数据集）的训练时期的精度图<br>（b）使用News20数据集的上述方法的相应训练损失图<br>（c ）针对SNLI任务的LSTM（使用完整和70％数据集）和KG增强LSTM（使用70％数据集）训练时期的精度图<br>（d）使用SNLI数据集的上述方法的相应训练损失图</p>
<p>与仅基于完整数据训练的香草LSTM模型相比，即使只有70％的数据，KG增强模型也能够实现更好的准确性。</p>
<p>这清楚地表明，与任务相关的信息是从知识图中检索出来的，并且训练损失的减少并不是仅由于数据较少而导致的。</p>
<p>另请注意，当数据集大小减小时，与常规LSTM相比，KG LSTM的训练损失明显更少。</p>
<p>这个结果非常有希望，以减少难以实现的大型深度学习模型的大型标签训练数据需求。</p>
<h2 id="5-相关先前工作"><a href="#5-相关先前工作" class="headerlink" title="5.相关先前工作"></a>5.相关先前工作</h2><p>以前从未尝试过将通用的世界知识用于学习任务，特别是用于自然语言处理的基本思想。</p>
<p>对于多标签图像分类，近来（Marino et al。，2016）一直在使用KGs。</p>
<p>在这项工作中，他们首先获取输入数据的标签（使用不同的模型），使用这些标签从KG填充要素，然后将这些要素回用于最终分类。</p>
<p>对于NLP任务，所需的信息可能不一定取决于最终分类，我们直接使用输入中可用的所有信息来填充知识图中的相关信息。我们的尝试与转移学习Transfer Learning（Pan and Yang，2010）大不相同。</p>
<p>在“转移学习”中，重点是为一个任务训练模型并调整已训练的模型以将其用于另一任务。这在很大程度上取决于源任务和目标任务之间的对齐方式，并且传输的信息在模型中。</p>
<p>在我们的案例中，对于任何给定任务，一般的世界知识都被注入到学习模型中。按照同样的逻辑，我们的工作也不同于领域适应（Glorot等，2011）。</p>
<p>已经尝试使用世界知识（Song和Roth，2017年）来创建更多带标签的训练数据并提供远距离监督等。</p>
<p>基于领域的已知信息将归纳性偏见（Ridgeway，2016年）整合到学习模型的结构中，是一个活跃的研究领域。</p>
<p>但是，我们的动机和方法与这些作品根本不同。</p>
<h2 id="6-结论与未来工作"><a href="#6-结论与未来工作" class="headerlink" title="6.结论与未来工作"></a>6.结论与未来工作</h2><p>在这项工作中，我们说明了将世界知识纳入训练任务特定模型的必要性。</p>
<p>我们提出了一种新颖的基于卷积的体系结构，以减少对实体和关系的关注空间，其表现优于其他模型。</p>
<p>通过对两个众所周知的数据集的原始基准进行重大改进，我们已经说明了我们提出的方法在增强深度学习模型性能方面的功效。</p>
<p>我们展示了所提出的方法可用于减少深度学习模型的标记训练数据需求。</p>
<p>尽管在这项工作中，我们仅专注于NLP任务，并使用LSTM作为基线模型，但该提议的方法也适用于其他领域任务，以更复杂的深度学习模型为基线。</p>
<p>据我们所知，这是首次将通用的世界知识注入到深度学习模型的任务特定训练中。<br>作为同类产品的第一项工作，还有很多改进的余地。<br>可以制定一个更复杂的模型，该模型能够从数百万个条目中更有效地检索事实。</p>
<p>当前，我们仅关注平面注意力结构，分层注意力机制会更合适。<br>该模型使用软注意力以通过简单的随机梯度下降进行训练。可以通过强化学习进一步关注事实。<br>这将进一步帮助选择不是相似类型但与任务相关的多重事实。</p>
<p>基于卷积的模型有助于减少必须引起注意的实体和关系的空间。然而，可以使用基于相似性的搜索（Wang等，2014a； Mu和Liu，2017）使用更复杂的技术。</p>
<p>初始实验的结果说明了我们提出的方法的有效性，主张朝这些方向进行进一步研究。</p>

                
            </div>
            <hr/>

            

    <div class="reprint" id="reprint-statement">
        
            <div class="reprint__author">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-user">
                        文章作者:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="/about" rel="external nofollow noreferrer">SongX64</a>
                </span>
            </div>
            <div class="reprint__type">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-link">
                        文章链接:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="https://songx86.gitee.io/article/ac76982b.html">https://songx86.gitee.io/article/ac76982b.html</a>
                </span>
            </div>
            <div class="reprint__notice">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-copyright">
                        版权声明:
                    </i>
                </span>
                <span class="reprint-info">
                    本博客所有文章除特別声明外，均采用
                    <a href="https://creativecommons.org/licenses/by/4.0/deed.zh" rel="external nofollow noreferrer" target="_blank">CC BY 4.0</a>
                    许可协议。转载请注明来源
                    <a href="/about" target="_blank">SongX64</a>
                    !
                </span>
            </div>
        
    </div>

    <script async defer>
      document.addEventListener("copy", function (e) {
        let toastHTML = '<span>复制成功，请遵循本文的转载规则</span><button class="btn-flat toast-action" onclick="navToReprintStatement()" style="font-size: smaller">查看</a>';
        M.toast({html: toastHTML})
      });

      function navToReprintStatement() {
        $("html, body").animate({scrollTop: $("#reprint-statement").offset().top - 80}, 800);
      }
    </script>



            <div class="tag_share" style="display: block;">
                <div class="post-meta__tag-list" style="display: inline-block;">
                    
                        <div class="article-tag">
                            
                                <a href="/tags/%E7%A7%91%E7%A0%94/">
                                    <span class="chip bg-color">科研</span>
                                </a>
                            
                                <a href="/tags/Knowledge-Graph/">
                                    <span class="chip bg-color">Knowledge Graph</span>
                                </a>
                            
                                <a href="/tags/%E8%AE%BA%E6%96%87%E7%BF%BB%E8%AF%91/">
                                    <span class="chip bg-color">论文翻译</span>
                                </a>
                            
                        </div>
                    
                </div>
                <div class="post_share" style="zoom: 80%; width: fit-content; display: inline-block; float: right; margin: -0.15rem 0;">
                    <link rel="stylesheet" type="text/css" href="/libs/share/css/share.min.css">
<div id="article-share">

    
    <div class="social-share" data-sites="twitter,facebook,google,qq,qzone,wechat,weibo,douban,linkedin" data-wechat-qrcode-helper="<p>微信扫一扫即可分享！</p>"></div>
    <script src="/libs/share/js/social-share.min.js"></script>
    

    

</div>

                </div>
            </div>
            
                <style>
    #reward {
        margin: 40px 0;
        text-align: center;
    }

    #reward .reward-link {
        font-size: 1.4rem;
        line-height: 38px;
    }

    #reward .btn-floating:hover {
        box-shadow: 0 6px 12px rgba(0, 0, 0, 0.2), 0 5px 15px rgba(0, 0, 0, 0.2);
    }

    #rewardModal {
        width: 320px;
        height: 350px;
    }

    #rewardModal .reward-title {
        margin: 15px auto;
        padding-bottom: 5px;
    }

    #rewardModal .modal-content {
        padding: 10px;
    }

    #rewardModal .close {
        position: absolute;
        right: 15px;
        top: 15px;
        color: rgba(0, 0, 0, 0.5);
        font-size: 1.3rem;
        line-height: 20px;
        cursor: pointer;
    }

    #rewardModal .close:hover {
        color: #ef5350;
        transform: scale(1.3);
        -moz-transform:scale(1.3);
        -webkit-transform:scale(1.3);
        -o-transform:scale(1.3);
    }

    #rewardModal .reward-tabs {
        margin: 0 auto;
        width: 210px;
    }

    .reward-tabs .tabs {
        height: 38px;
        margin: 10px auto;
        padding-left: 0;
    }

    .reward-content ul {
        padding-left: 0 !important;
    }

    .reward-tabs .tabs .tab {
        height: 38px;
        line-height: 38px;
    }

    .reward-tabs .tab a {
        color: #fff;
        background-color: #ccc;
    }

    .reward-tabs .tab a:hover {
        background-color: #ccc;
        color: #fff;
    }

    .reward-tabs .wechat-tab .active {
        color: #fff !important;
        background-color: #22AB38 !important;
    }

    .reward-tabs .alipay-tab .active {
        color: #fff !important;
        background-color: #019FE8 !important;
    }

    .reward-tabs .reward-img {
        width: 210px;
        height: 210px;
    }
</style>

<div id="reward">
    <a href="#rewardModal" class="reward-link modal-trigger btn-floating btn-medium waves-effect waves-light red">赏</a>

    <!-- Modal Structure -->
    <div id="rewardModal" class="modal">
        <div class="modal-content">
            <a class="close modal-close"><i class="fas fa-times"></i></a>
            <h4 class="reward-title">你的赏识是我前进的动力</h4>
            <div class="reward-content">
                <div class="reward-tabs">
                    <ul class="tabs row">
                        <li class="tab col s6 alipay-tab waves-effect waves-light"><a href="#alipay">支付宝</a></li>
                        <li class="tab col s6 wechat-tab waves-effect waves-light"><a href="#wechat">微 信</a></li>
                    </ul>
                    <div id="alipay">
                        <img src="/medias/reward/alipay.jpg" class="reward-img" alt="支付宝打赏二维码">
                    </div>
                    <div id="wechat">
                        <img src="/medias/reward/wechat.jpg" class="reward-img" alt="微信打赏二维码">
                    </div>
                </div>
            </div>
        </div>
    </div>
</div>

<script>
    $(function () {
        $('.tabs').tabs();
    });
</script>

            
        </div>
    </div>

    

    

    

    

    
        <style>
    .valine-card {
        margin: 1.5rem auto;
    }

    .valine-card .card-content {
        padding: 20px 20px 5px 20px;
    }

    #vcomments textarea {
        box-sizing: border-box;
        background: url("/medias/comment_bg.png") 100% 100% no-repeat;
    }

    #vcomments p {
        margin: 2px 2px 10px;
        font-size: 1.05rem;
        line-height: 1.78rem;
    }

    #vcomments blockquote p {
        text-indent: 0.2rem;
    }

    #vcomments a {
        padding: 0 2px;
        color: #4cbf30;
        font-weight: 500;
        text-decoration: none;
    }

    #vcomments img {
        max-width: 100%;
        height: auto;
        cursor: pointer;
    }

    #vcomments ol li {
        list-style-type: decimal;
    }

    #vcomments ol,
    ul {
        display: block;
        padding-left: 2em;
        word-spacing: 0.05rem;
    }

    #vcomments ul li,
    ol li {
        display: list-item;
        line-height: 1.8rem;
        font-size: 1rem;
    }

    #vcomments ul li {
        list-style-type: disc;
    }

    #vcomments ul ul li {
        list-style-type: circle;
    }

    #vcomments table, th, td {
        padding: 12px 13px;
        border: 1px solid #dfe2e5;
    }

    #vcomments table, th, td {
        border: 0;
    }

    table tr:nth-child(2n), thead {
        background-color: #fafafa;
    }

    #vcomments table th {
        background-color: #f2f2f2;
        min-width: 80px;
    }

    #vcomments table td {
        min-width: 80px;
    }

    #vcomments h1 {
        font-size: 1.85rem;
        font-weight: bold;
        line-height: 2.2rem;
    }

    #vcomments h2 {
        font-size: 1.65rem;
        font-weight: bold;
        line-height: 1.9rem;
    }

    #vcomments h3 {
        font-size: 1.45rem;
        font-weight: bold;
        line-height: 1.7rem;
    }

    #vcomments h4 {
        font-size: 1.25rem;
        font-weight: bold;
        line-height: 1.5rem;
    }

    #vcomments h5 {
        font-size: 1.1rem;
        font-weight: bold;
        line-height: 1.4rem;
    }

    #vcomments h6 {
        font-size: 1rem;
        line-height: 1.3rem;
    }

    #vcomments p {
        font-size: 1rem;
        line-height: 1.5rem;
    }

    #vcomments hr {
        margin: 12px 0;
        border: 0;
        border-top: 1px solid #ccc;
    }

    #vcomments blockquote {
        margin: 15px 0;
        border-left: 5px solid #42b983;
        padding: 1rem 0.8rem 0.3rem 0.8rem;
        color: #666;
        background-color: rgba(66, 185, 131, .1);
    }

    #vcomments pre {
        font-family: monospace, monospace;
        padding: 1.2em;
        margin: .5em 0;
        background: #272822;
        overflow: auto;
        border-radius: 0.3em;
        tab-size: 4;
    }

    #vcomments code {
        font-family: monospace, monospace;
        padding: 1px 3px;
        font-size: 0.92rem;
        color: #e96900;
        background-color: #f8f8f8;
        border-radius: 2px;
    }

    #vcomments pre code {
        font-family: monospace, monospace;
        padding: 0;
        color: #e8eaf6;
        background-color: #272822;
    }

    #vcomments pre[class*="language-"] {
        padding: 1.2em;
        margin: .5em 0;
    }

    #vcomments code[class*="language-"],
    pre[class*="language-"] {
        color: #e8eaf6;
    }

    #vcomments [type="checkbox"]:not(:checked), [type="checkbox"]:checked {
        position: inherit;
        margin-left: -1.3rem;
        margin-right: 0.4rem;
        margin-top: -1px;
        vertical-align: middle;
        left: unset;
        visibility: visible;
    }

    #vcomments b,
    strong {
        font-weight: bold;
    }

    #vcomments dfn {
        font-style: italic;
    }

    #vcomments small {
        font-size: 85%;
    }

    #vcomments cite {
        font-style: normal;
    }

    #vcomments mark {
        background-color: #fcf8e3;
        padding: .2em;
    }

    #vcomments table, th, td {
        padding: 12px 13px;
        border: 1px solid #dfe2e5;
    }

    table tr:nth-child(2n), thead {
        background-color: #fafafa;
    }

    #vcomments table th {
        background-color: #f2f2f2;
        min-width: 80px;
    }

    #vcomments table td {
        min-width: 80px;
    }

    #vcomments [type="checkbox"]:not(:checked), [type="checkbox"]:checked {
        position: inherit;
        margin-left: -1.3rem;
        margin-right: 0.4rem;
        margin-top: -1px;
        vertical-align: middle;
        left: unset;
        visibility: visible;
    }
</style>

<div class="card valine-card" data-aos="fade-up">
    <div class="comment_headling" style="font-size: 20px; font-weight: 700; position: relative; padding-left: 20px; top: 15px; padding-bottom: 5px;">
        <i class="fas fa-comments fa-fw" aria-hidden="true"></i>
        <span>评论</span>
    </div>
    <div id="vcomments" class="card-content" style="display: grid">
    </div>
</div>

<script src="/libs/valine/av-min.js"></script>
<script src="/libs/valine/Valine.min.js"></script>
<script>
    new Valine({
        el: '#vcomments',
        appId: 'gRuzkj3uDnUjERvWlFkWkYjF-gzGzoHsz',
        appKey: 'tCCMKQDflcsl0hOAh2CUfvPP',
        notify: 'false' === 'true',
        verify: 'false' === 'true',
        visitor: 'true' === 'true',
        avatar: 'mm',
        pageSize: '10',
        lang: 'zh-cn',
        placeholder: 'just go go'
    });
</script>

<!--酷Q推送-->


    

    

    

    

    

<article id="prenext-posts" class="prev-next articles">
    <div class="row article-row">
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge left-badge text-color">
                <i class="fas fa-chevron-left"></i>&nbsp;上一篇</div>
            <div class="card">
                <a href="/article/68c57b8.html">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/1/05.jpg" class="responsive-img" alt="嵌入推荐系统的协作知识库">
                        
                        <span class="card-title">嵌入推荐系统的协作知识库</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            高引论文，将知识库用于推荐系统
                        
                    </div>
                    <div class="publish-info">
                        <span class="publish-date">
                            <i class="far fa-clock fa-fw icon-date"></i>2021-03-19
                        </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-bookmark fa-fw icon-category"></i>
                            
                            <a href="/categories/%E7%A7%91%E7%A0%94/" class="post-category">
                                    科研
                                </a>
                            
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E7%A7%91%E7%A0%94/">
                        <span class="chip bg-color">科研</span>
                    </a>
                    
                    <a href="/tags/Knowledge-Graph/">
                        <span class="chip bg-color">Knowledge Graph</span>
                    </a>
                    
                    <a href="/tags/%E8%AE%BA%E6%96%87%E7%BF%BB%E8%AF%91/">
                        <span class="chip bg-color">论文翻译</span>
                    </a>
                    
                    <a href="/tags/Recommendation/">
                        <span class="chip bg-color">Recommendation</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge right-badge text-color">
                下一篇&nbsp;<i class="fas fa-chevron-right"></i>
            </div>
            <div class="card">
                <a href="/article/42584db7.html">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/1/12.jpg" class="responsive-img" alt="用于移动应用程序开发的知识图增强型第三方库推荐">
                        
                        <span class="card-title">用于移动应用程序开发的知识图增强型第三方库推荐</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            用于移动应用程序开发的知识图增强型第三方库推荐，2021年论文，很有参考价值
                        
                    </div>
                    <div class="publish-info">
                            <span class="publish-date">
                                <i class="far fa-clock fa-fw icon-date"></i>2021-02-23
                            </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-bookmark fa-fw icon-category"></i>
                            
                            <a href="/categories/%E7%A7%91%E7%A0%94/" class="post-category">
                                    科研
                                </a>
                            
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E7%A7%91%E7%A0%94/">
                        <span class="chip bg-color">科研</span>
                    </a>
                    
                    <a href="/tags/Knowledge-Graph/">
                        <span class="chip bg-color">Knowledge Graph</span>
                    </a>
                    
                    <a href="/tags/%E8%AE%BA%E6%96%87%E7%BF%BB%E8%AF%91/">
                        <span class="chip bg-color">论文翻译</span>
                    </a>
                    
                    <a href="/tags/Recommendation/">
                        <span class="chip bg-color">Recommendation</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
    </div>
</article>

</div>



<!-- 代码块功能依赖 -->
<script type="text/javascript" src="/libs/codeBlock/codeBlockFuction.js"></script>

<!-- 代码语言 -->

<script type="text/javascript" src="/libs/codeBlock/codeLang.js"></script>


<!-- 代码块复制 -->

<script type="text/javascript" src="/libs/codeBlock/codeCopy.js"></script>


<!-- 代码块收缩 -->

<script type="text/javascript" src="/libs/codeBlock/codeShrink.js"></script>


    </div>
    <div id="toc-aside" class="expanded col l3 hide-on-med-and-down">
        <div class="toc-widget card" style="background-color: white;">
            <div class="toc-title"><i class="far fa-list-alt"></i>&nbsp;&nbsp;目录</div>
            <div id="toc-content"></div>
        </div>
    </div>
</div>

<!-- TOC 悬浮按钮. -->

<div id="floating-toc-btn" class="hide-on-med-and-down">
    <a class="btn-floating btn-large bg-color">
        <i class="fas fa-list-ul"></i>
    </a>
</div>


<script src="/libs/tocbot/tocbot.min.js"></script>
<script>
    $(function () {
        tocbot.init({
            tocSelector: '#toc-content',
            contentSelector: '#articleContent',
            headingsOffset: -($(window).height() * 0.4 - 45),
            collapseDepth: Number('0'),
            headingSelector: 'h2, h3, h4'
        });

        // modify the toc link href to support Chinese.
        let i = 0;
        let tocHeading = 'toc-heading-';
        $('#toc-content a').each(function () {
            $(this).attr('href', '#' + tocHeading + (++i));
        });

        // modify the heading title id to support Chinese.
        i = 0;
        $('#articleContent').children('h2, h3, h4').each(function () {
            $(this).attr('id', tocHeading + (++i));
        });

        // Set scroll toc fixed.
        let tocHeight = parseInt($(window).height() * 0.4 - 64);
        let $tocWidget = $('.toc-widget');
        $(window).scroll(function () {
            let scroll = $(window).scrollTop();
            /* add post toc fixed. */
            if (scroll > tocHeight) {
                $tocWidget.addClass('toc-fixed');
            } else {
                $tocWidget.removeClass('toc-fixed');
            }
        });

        
        /* 修复文章卡片 div 的宽度. */
        let fixPostCardWidth = function (srcId, targetId) {
            let srcDiv = $('#' + srcId);
            if (srcDiv.length === 0) {
                return;
            }

            let w = srcDiv.width();
            if (w >= 450) {
                w = w + 21;
            } else if (w >= 350 && w < 450) {
                w = w + 18;
            } else if (w >= 300 && w < 350) {
                w = w + 16;
            } else {
                w = w + 14;
            }
            $('#' + targetId).width(w);
        };

        // 切换TOC目录展开收缩的相关操作.
        const expandedClass = 'expanded';
        let $tocAside = $('#toc-aside');
        let $mainContent = $('#main-content');
        $('#floating-toc-btn .btn-floating').click(function () {
            if ($tocAside.hasClass(expandedClass)) {
                $tocAside.removeClass(expandedClass).hide();
                $mainContent.removeClass('l9');
            } else {
                $tocAside.addClass(expandedClass).show();
                $mainContent.addClass('l9');
            }
            fixPostCardWidth('artDetail', 'prenext-posts');
        });
        
    });
</script>

    

</main>




    <footer class="page-footer bg-color">
    
        <link rel="stylesheet" href="/libs/aplayer/APlayer.min.css">
<style>
    .aplayer .aplayer-lrc p {
        
        display: none;
        
        font-size: 12px;
        font-weight: 700;
        line-height: 16px !important;
    }

    .aplayer .aplayer-lrc p.aplayer-lrc-current {
        
        display: none;
        
        font-size: 15px;
        color: #42b983;
    }

    
    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body {
        left: -66px !important;
    }

    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body:hover {
        left: 0px !important;
    }

    
</style>
<div class="">
    
    <div class="row">
        <meting-js class="col l8 offset-l2 m10 offset-m1 s12"
                   server="netease"
                   type="playlist"
                   id="767683882"
                   fixed='true'
                   autoplay='false'
                   theme='#42b983'
                   loop='all'
                   order='random'
                   preload='auto'
                   volume='0.7'
                   list-folded='true'
        >
        </meting-js>
    </div>
</div>

<script src="/libs/aplayer/APlayer.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/meting@2/dist/Meting.min.js"></script>

    
    <div class="container row center-align" style="margin-bottom: 0px !important;">
        <div class="col s12 m8 l8 copy-right">
            Copyright&nbsp;&copy;
            
                <span id="year">2020-2021</span>
            
            <span id="year">2020</span>
            <a href="/about" target="_blank">SongX64</a>
            |&nbsp;Powered by&nbsp;<a href="https://hexo.io/" target="_blank">Hexo</a>
            |&nbsp;Theme&nbsp;<a href="https://github.com/blinkfox/hexo-theme-matery" target="_blank">Matery</a>
			<br>
				<a href="https://beian.miit.gov.cn/" target="_blank">鲁ICP备2021015839号-1</a>
				 | 
				<img src="/medias/icp.png" style="vertical-align: text-bottom;" />
		 		<a target="_blank" href="http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=37083102000087">鲁公网安备 37083102000087号</a>
            </span>
			
		 
            <br>
            
            
            
            
            
            <br>
            
            <br>
            
        </div>
        <div class="col s12 m4 l4 social-link ">
    <a href="https://github.com/SongX64" class="tooltipped" target="_blank" data-tooltip="访问我的GitHub" data-position="top" data-delay="50">
        <i class="fab fa-github"></i>
    </a>



    <a href="mailto:song.x64@gmail.com" class="tooltipped" target="_blank" data-tooltip="邮件联系我" data-position="top" data-delay="50">
        <i class="fas fa-envelope-open"></i>
    </a>







    <a href="tencent://AddContact/?fromId=50&fromSubId=1&subcmd=all&uin=song-x64@qq.com" class="tooltipped" target="_blank" data-tooltip="QQ联系我: song-x64@qq.com" data-position="top" data-delay="50">
        <i class="fab fa-qq"></i>
    </a>







</div>
    </div>
</footer>

<div class="progress-bar"></div>


    <!-- 搜索遮罩框 -->
<div id="searchModal" class="modal">
    <div class="modal-content">
        <div class="search-header">
            <span class="title"><i class="fas fa-search"></i>&nbsp;&nbsp;搜索</span>
            <input type="search" id="searchInput" name="s" placeholder="请输入搜索的关键字"
                   class="search-input">
        </div>
        <div id="searchResult"></div>
    </div>
</div>

<script type="text/javascript">
$(function () {
    var searchFunc = function (path, search_id, content_id) {
        'use strict';
        $.ajax({
            url: path,
            dataType: "xml",
            success: function (xmlResponse) {
                // get the contents from search data
                var datas = $("entry", xmlResponse).map(function () {
                    return {
                        title: $("title", this).text(),
                        content: $("content", this).text(),
                        url: $("url", this).text()
                    };
                }).get();
                var $input = document.getElementById(search_id);
                var $resultContent = document.getElementById(content_id);
                $input.addEventListener('input', function () {
                    var str = '<ul class=\"search-result-list\">';
                    var keywords = this.value.trim().toLowerCase().split(/[\s\-]+/);
                    $resultContent.innerHTML = "";
                    if (this.value.trim().length <= 0) {
                        return;
                    }
                    // perform local searching
                    datas.forEach(function (data) {
                        var isMatch = true;
                        var data_title = data.title.trim().toLowerCase();
                        var data_content = data.content.trim().replace(/<[^>]+>/g, "").toLowerCase();
                        var data_url = data.url;
                        data_url = data_url.indexOf('/') === 0 ? data.url : '/' + data_url;
                        var index_title = -1;
                        var index_content = -1;
                        var first_occur = -1;
                        // only match artiles with not empty titles and contents
                        if (data_title !== '' && data_content !== '') {
                            keywords.forEach(function (keyword, i) {
                                index_title = data_title.indexOf(keyword);
                                index_content = data_content.indexOf(keyword);
                                if (index_title < 0 && index_content < 0) {
                                    isMatch = false;
                                } else {
                                    if (index_content < 0) {
                                        index_content = 0;
                                    }
                                    if (i === 0) {
                                        first_occur = index_content;
                                    }
                                }
                            });
                        }
                        // show search results
                        if (isMatch) {
                            str += "<li><a href='" + data_url + "' class='search-result-title'>" + data_title + "</a>";
                            var content = data.content.trim().replace(/<[^>]+>/g, "");
                            if (first_occur >= 0) {
                                // cut out 100 characters
                                var start = first_occur - 20;
                                var end = first_occur + 80;
                                if (start < 0) {
                                    start = 0;
                                }
                                if (start === 0) {
                                    end = 100;
                                }
                                if (end > content.length) {
                                    end = content.length;
                                }
                                var match_content = content.substr(start, end);
                                // highlight all keywords
                                keywords.forEach(function (keyword) {
                                    var regS = new RegExp(keyword, "gi");
                                    match_content = match_content.replace(regS, "<em class=\"search-keyword\">" + keyword + "</em>");
                                });

                                str += "<p class=\"search-result\">" + match_content + "...</p>"
                            }
                            str += "</li>";
                        }
                    });
                    str += "</ul>";
                    $resultContent.innerHTML = str;
                });
            }
        });
    };

    searchFunc('/search.xml', 'searchInput', 'searchResult');
});
</script>

    <!-- 回到顶部按钮 -->
<div id="backTop" class="top-scroll">
    <a class="btn-floating btn-large waves-effect waves-light" href="#!">
        <i class="fas fa-arrow-up"></i>
    </a>
</div>


    <script src="/libs/materialize/materialize.min.js"></script>
    <script src="/libs/masonry/masonry.pkgd.min.js"></script>
    <script src="/libs/aos/aos.js"></script>
    <script src="/libs/scrollprogress/scrollProgress.min.js"></script>
    <script src="/libs/lightGallery/js/lightgallery-all.min.js"></script>
    <script src="/js/matery.js"></script>

    <!-- Baidu Analytics -->

    <!-- Baidu Push -->

<script>
    (function () {
        var bp = document.createElement('script');
        var curProtocol = window.location.protocol.split(':')[0];
        if (curProtocol === 'https') {
            bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
        } else {
            bp.src = 'http://push.zhanzhang.baidu.com/push.js';
        }
        var s = document.getElementsByTagName("script")[0];
        s.parentNode.insertBefore(bp, s);
    })();
</script>

    
    <script src="/libs/others/clicklove.js" async="async"></script>
    
    

    

    

    <!--腾讯兔小巢-->
    
        <div style="position:fixed;bottom:125px;right:16px;cursor: pointer;">
            <a title="兔小巢" target="_blank" rel="noopener" href="https://support.qq.com/products/330452"><i class="fa fa-comments fa-3x"  aria-hidden="true"></i></a>
        </div>
    
    
    <script type="text/javascript" color="0,0,255"
        pointColor="0,0,255" opacity='0.5'
        zIndex="-1" count="99"
        src="/libs/background/canvas-nest.js"></script>
    

    

    
    <script type="text/javascript" src="/libs/background/ribbon-dynamic.js" async="async"></script>
    

    
    <script src="/libs/instantpage/instantpage.js" type="module"></script>
    

<script src="/live2dw/lib/L2Dwidget.min.js?094cbace49a39548bed64abff5988b05"></script><script>L2Dwidget.init({"pluginRootPath":"live2dw/","pluginJsPath":"lib/","pluginModelPath":"assets/","tagMode":false,"log":false,"model":{"jsonPath":"/live2dw/assets/shizuku.model.json"},"display":{"position":"right","width":150,"height":300},"mobile":{"show":true},"react":{"opacity":0.7}});</script></body>

</html>
